Sư thuộc họ Tư Mã, Dòng họ lâu đời ở Hà Nội, Trung Quốc, sau gia đình sư dời đến huyện Quảng Tế, Kỳ Châu. Lúc sư sinh đã dị thường. Từ bé sư đã đọc Kinh và ưa chuộng các môn học giải thoát của Phật giáo, như là đã có duyên từ trước.

Sau đó sư xuất gia và đến thời Tùy, niên hiệu Khai Hoàng năm thứ 12, Nhâm Tý, lúc mới 14 tuổi, sư đến lễ Tổ Tăng Xán nói: '' Nguyện Hòa thượng từ bi ban cho con pháp môn cởi mở''. Tổ hỏi: ''Ai trói buộc ông?''. Sư nói: ''Chẳng ai buộc cả''. Tổ nói: ''Vậy cớ gì phải cởi mở''. Sư nghe vậy liền đại ngộ.

Sau đó, ở lại theo hầu cận Tổ trong 9 năm, rồi thọ giới tại Cát Châu. Sư rất tận tâm hầu hạ thầy, Tổ thường nêu lẽ huyền vi ra hỏi sư để kiểm tra xem đã triệt ngộ chưa, rồi truyền y cà sa và pháp, sau đó đọc kệ:

Phiên âm:

Hoa chủng tuy nhân địa

Tùng địa chủng hoa sinh

Nhược vô nhân hạ chủng

Hoa địa tận vô sinh.

Tạm dịch:

Giống hoa tuy nhờ đất

Từ đất, giống hoa sinh

Nếu người không gieo giống

Hoa đất thảy không sinh.

Rồi Tổ căn dặn: '' Xưa, Khả Đại Sư truyền Pháp cho ta, sau đó đến Nghiệp Đô hành hóa 30 năm mới tịch. Nay ta được ông thì còn nấn ná lại đây chi nữa? ''.